#Hierarchical Clustering

3 篇

Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention

潜在稀疏注意力：面向亚二次超长上下文注意力

🧭 高效注意力 · 超长上下文

提出潜在稀疏注意力 LSA，通过可学习层次聚类实现超长上下文亚二次注意力且保持精度

📌 工作参考价值（4 点）

长上下文 Agent 会话/记忆管理可借鉴：电商导购、客服等 Agent 维护超长多轮历史时，用 learned latent space 对 keys 做层次聚类，query 只打分聚类中心，大幅降低 decode 阶段的 KV cache 访问与计算，适合在线低延迟场景。
已有预训练模型不想重训的情况下，D-LSA 蒸馏提供低成本升级路径：仅在注意力层增加分层聚类索引，用原模型蒸馏对齐，可离线验证精度损失后逐步上线。
若从零训练或大规模训练长上下文模型，N-LSA 原生训练同时降低训练与推理成本（128k tokens 单层训练 1.6x），对自建基础模型或微调有参考价值。
局限与注意：方法依赖键空间聚类稳定性，电商推荐中商品/query 分布快速变化，需评估索引重建频率与召回误差；目前验证集中于语言模型，迁移到推荐特征需要额外实验。

LLM | 2026-10-30 | cs.AI | score 7/10

FedHUR：学习层次化效用引导的客户端关系用于个性化联邦推荐

🧭 联邦推荐 · 个性化聚合

Fudan University · Microsoft Research Asia · Independent

提出层次化效用引导的客户端关系学习框架，以 item-item filters 为聚合对象，提升联邦推荐个性化聚合效果

📌 工作参考价值（4 点）

在电商推荐场景中联邦学习保护用户隐私，但跨客户端聚合时不应依赖单一全局相似度；可借鉴 FedHUR 思路，按类目/品牌/价格带等构建层次化用户关系，在不同粒度上分别聚合，缓解数据稀疏和兴趣差异问题。
效用信号机制值得直接移植：让每个客户端先评估其他客户端信息对自己预测的增益，只聚合“有用”的客户端，避免引入噪声；这类似推荐系统中的增益筛选，可显著提升本地模型在长尾用户上的表现。
以 item-item filters（如物品共现矩阵或物品向量）作为交换和聚合对象，比直接交换模型参数更轻量、可解释，适合部署在边缘设备或对通信开销敏感的场景；电商中可用商品 embedding 的 item-item 关系替代原始梯度。
全局层次聚类信息可以作为先验知识下发到客户端，再在客户端上进行个性化检索和聚合，这种“全局先验+本地效用”的架构可直接应用于大规模推荐模型的分布式微调或联邦增量训练。

RecSys | 2026-09-10 | cs.IR | score 7/10

HERMES：面向预训练数据混合的多粒度分层标注基板

🧭 预训练数据混合 · 多粒度标签

Wizard Quant · Peking University · University of Science and Technology of China

提出一种基于残差矢量量化的多粒度数据标注框架，使预训练数据混合从固定标签转变为可重用粒度层次导航。

📌 工作参考价值（4 点）

在电商推荐模型训练中，可借鉴 HERMES 的语义嵌入 + 残差矢量量化构建商品或用户行为的多粒度类别体系，替代固定的 taxonomy，实现 training data mixture 的动态粒度调节。
实验中发现的“粗粒度下等比例覆盖 + 质量前 30% 混合规则有效，细粒度下因候选池收缩而失效”现象，提示在推荐数据采样时需根据当前粒度调整采样策略，避免直接在极细粒度下套用同一种比例规则。
该层次标签基板可复用于推荐模型的预训练、微调或持续训练阶段，作为 data loader 的输入，按不同前缀长度控制样本分布，探索多任务能力 Lift。
工程实现上，3 阶段 RVQ 编码开销可控，可离线一次性为全量数据集标注，后续只需通过前缀截断切换粒度，适合工业级海量数据场景。

Training | 2026-07-02 | cs.CL | score 7/10